//package com.xiaohong.gupiao.crawl;
//
//import us.codecraft.webmagic.Page;
//import us.codecraft.webmagic.Site;
//import us.codecraft.webmagic.Spider;
//import us.codecraft.webmagic.pipeline.FilePipeline;
//import us.codecraft.webmagic.processor.PageProcessor;
//import us.codecraft.webmagic.scheduler.BloomFilterDuplicateRemover;
//import us.codecraft.webmagic.scheduler.QueueScheduler;
//
//public class wangyiCrawl implements PageProcessor {
//    /**
//     * 解析页面
//     * @param page
//     */
//    @Override
//    public void process(Page page) {
//        // 解析page返回的数据，并且将结果放到ResultItems里面
//        //结果处理API
//        // 返回一条类型的数据，默认是第一条
//        page.putField("result",page.getHtml().css("table.table_bg001 tr:nth-child(1) td").all());
//    }
//
//    private Site site = Site.me()
//            .setCharset("UTF-8")//编码
//            .setDomain("quotes.money.163.com")
//            .addCookie("_ntes_nnid","54e4cb2720afc7aa6c3e0947186d1011,1604502345181")
//            .addCookie("_ntes_nuid","54e4cb2720afc7aa6c3e0947186d1011")
//            .addCookie("vjuids","2e27bc181.176283bc424.0.f62f310b50973")
//            .addCookie("BAIDU_SSP_lcr","https://www.baidu.com/link?url=x12UU24qqYneAPv4m02J8iBrkR7iz0tgmwiuk0OIu_q&wd=&eqid=b4d962610002a293000000065fc99965")
//            .addCookie("_antanalysis_s_id","1607047528801")
//            .addCookie("vjlast","1606992774.1607047534.13")
//            .addCookie("ne_analysis_trace_id","1607047533624")
//            .addCookie("pgr_n_f_l_n3","290ddc4331ff2d4a16070475336262622")
//            .addCookie("s_n_f_l_n3","290ddc4331ff2d4a1607051363879")
//            .addCookie("vinfo_n_f_l_n3","290ddc4331ff2d4a.1.5.1606992706620.1607049045807.1607052335281")
//            .setSleepTime(1)//抓取间隔时间
//            .setTimeOut(1000*10)//超时时间
//            .setRetrySleepTime(3000)//重试时间
//            .setRetryTimes(3)//重试次数
//            ;
//
//    /**
//     *
//     * @return
//     */
//    @Override
//    public Site getSite() {
//        return site;
//    }
//
//    //主程序 执行爬虫
//    public static void main(String[] args) {
//        //将自己写的解析器添加到Spider里
//        Spider.create(new wangyiCrawl()).
//                addUrl("http://quotes.money.163.com/trade/lsjysj_zhishu_000001.html")  //设置需要爬取的地址
//                .addPipeline(new wangyiPipeline()) // 将数据输出到指定文件夹
//                .run();  //执行程序
//    }
//
//}
